#reward model

3 篇

Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems

Astar：从历史迭代中学习提出 AI 系统进化方向

🧭 自进化AI系统 · 进化方向提案 ★ 深度解读

Alibaba Group · Zhejiang University

训练专用模型从历史实验日志中学习提出有效进化方向，在 Lazada 广告召回上超越人类专家与 GPT-5.5

📌 工作参考价值（4 点）

用历史实验日志构建“方向提案”训练语料：将任意两个实验版本配对，用 loss 曲线判定优劣，可把稀疏迭代日志扩展成密集监督信号；同时用 AST 清理、配置白名单去除无关改动，适合在广告/推荐模型迭代日志上复用。
训练轻量 reward model（0.6B 即可 AUC 0.8094）预测改动是否提升指标，替代真实训练验证做候选筛选和 RL 奖励，可大幅降低 AutoML/实验平台试错成本；在业务上可用来预筛离线实验参数。
生成式方向提案用分层约束（主方向→模块→具体动作）代替直接输出，显著压缩搜索空间；在推荐系统自动调参、召回模型结构搜索等场景可以借鉴，让 LLM 按固定层级生成，提高可控性。
闭环设计：把每次真实执行结果回收为训练样本，让提案模型随目标系统一同进化，避免“静态模型过时”；可集成进现有模型迭代平台，实现每周自动产生并验证多个改进方向。

Agent | 2026-08-27 | cs.IR | score 10/10

开放域生成中测试时扩展：瓶颈在利用而非探索

🧭 LLM 测试时扩展 · 开放域生成评估 ★ 深度解读

Thomson Reuters

五种TTS计算归一化对比：候选池不缺好答案，奖励模型相关性≈0.12，Fusion最佳仅捕获40% headroom

📌 工作参考价值（4 点）

在电商/广告文案、商品标题、Agent 回复等开放域生成中，上线 Best-of-N + reward model 选优前，先在小样本测 RM 分数与真实质量的 Spearman ρv；若低（如<0.2），额外采样基本是浪费，应直接放弃 RM 选择。
优先把候选池做生成式合成（Fusion）而不是打分选优：同一候选池下，Fusion 的 headroom capture 约 40%，明显高于 BoN 的约 15%，且不依赖外部 verifier，适合商品文案/卖点融合。
不要把 PRM 引导的树搜索用于开放域文本生成；错误 PRM 会指数型剪掉好分支，导致多样性崩溃，并行采样更稳。
迭代 refine 的收益要警惕长度偏置：写作/文案类 benchmark 的提升可能与“写得更长”混淆，迁移到广告或商品描述时用长度匹配评估，并监控 length-score 相关。

Eval | 2026-08-19 | cs.CL | score 8/10

RewardHarness：自进化智能体后训练框架

🧭 Agent 自进化奖励建模

University of British Columbia · Vector Institute · Kuaishou Technology · Carnegie Mellon University · University of Waterloo

将奖励建模从权重优化转为上下文进化，用少量样本自动演变工具技能库，实现高数据效率评估

📌 工作参考价值（4 点）

用少量人工标注（100 条）即可引导 Agent 自主迭代进化评估标准，大幅降低构建评价模型的成本，可借鉴到电商多模态内容（商品图/视频）的 automated evaluation 或 RLHF reward signal。
Orchestrator + Sub-Agent 的推理链架构，通过选择工具和技能来构建判断逻辑，类似可应用于推荐系统中排序策略的评判或解释生成，提升可解释性与可干预性。
自进化工具库的维护方式（分析成功/失败案例后增删改工具）提供了 Agent 持续学习的工程范式，可以迁移到多智体协作场景，让评估 Agent 随着业务迭代自动适配新准则。
冻结子模型配合技能库的思路，让 API-only 模型也能参与 reward modeling 的迭代，对使用闭源大模型做判断的业务有参考意义。

Agent | 2026-05-08 | HF Daily | score 6/10